Как малка грешка се превърна в спираловидно прекъсване, което свали интернет

Вижте всички тематики Връзката е копирана! Следвайте

Масово спиране на AWS в понеделник, което смъкна някои от най-популярните приложения и услуги в света, стартира с проблем.

Грешката – зародила, когато две автоматизирани системи се опитваха да актуализират едни и същи данни по едно и също време – се трансформира в нещо доста по-сериозно, което инженерите на Amazon се бориха да поправят, сподели компанията в четвъртък в следсмъртна оценка.

Прекъсването на солидната облачна услуга означаваше, че хората не могат да поръчват храна, да споделят с болнични мрежи, да имат достъп до мобилно банкиране или да се свързват със своите системи за сигурност и интелигентни домашни устройства. Големи международни компании, в това число Netflix, Starbucks и United Airlines, краткотрайно не можаха да дават на клиентите си достъп до своите онлайн услуги.

„ Извиняваме се за въздействието, което това събитие аргументи на нашите клиенти “, сподели Amazon в изказване на уеб страницата на AWS. " Знаем, че това събитие повлия доста на доста клиенти. Ще създадем всичко допустимо, с цел да се поучим от това събитие и да го използваме, с цел да подобрим още повече нашата наличност. "

На високо равнище казусът произтичаше от две стратегии, които се състезаваха да напишат еднакъв DNS запис – всъщност запис в телефонния справочник на интернет – по едно и също време, което докара до празен запис. Това хвърли голям брой услуги на AWS в хаос.

„ Аналогията с телефонния справочник е много подобаваща, защото хората от другата линия са там, само че в случай че не знаете по какъв начин да се свържете с тях, тогава имате проблем “, сподели пред CNN Анжелик Медина, началник на услугата за наблюдаване на мрежата ThousandEyes Internet Intelligence на Cisco. „ И този телефонен справочник на процедура стана пуф. “

Индранил Гупта, професор по електротехника и компютърно инженерство в Университета на Илинойс, употребява прилика в класната стая, с цел да изясни техническия разбор на Amazon в имейл до CNN. Да кажем, че двама ученика, единият, който работи бързо, а другият, който работи по-бавно, са помолени да си сътрудничат в споделен бележник.

По-бавният възпитаник „ обръща внимание на къси прояви, само че тяхната работа може да опонира или опонира на работата на по-бързия възпитаник “, написа той. В същото време по-бързият възпитаник може да се „ пробва непрекъснато да „ оправя “ нещата бързо “ и да изтрие работата на по-бавния възпитаник, тъй като е остаряла.

„ Резултатът... празна страница (или зачеркната страница) в лабораторната тетрадка, когато учителят идва и я ревизира “, написа той.

Тази „ празна страница “ смъкна базата данни DynamoDB на AWS, създавайки каскаден резултат, който повлия на други услуги на AWS като EC2, който предлага виртуални сървъри за създаване и внедряване на приложения, и Network Load Balancer, който ръководи условията в мрежата. Когато DynamoDB се върна онлайн, EC2 се опита да върне всичките си сървъри онлайн едновременно и не можа да се оправи.

Amazon прави редица промени в системите си след спирането, в това число поправяне на „ сюжета за условия на съревнование “, което накара двете системи да презапишат работата на всяка друга преди всичко, и прибавяне на спомагателен тестов пакет за своята услуга EC2.

Прекъсванията като този в понеделник, въпреки и редки, са просто действителност, сподели Гупта. Но това, което има значение, е по какъв начин се вземат решение сходни проблеми.

" Мащабни спирания като това, те просто се случват. Няма какво да извършите, с цел да го избегнете, тъкмо както (как) хората се разболяват ", сподели Гупта пред CNN по телефона. „ Но мисля, че по какъв начин компанията реагира на спиранията и осведоми клиентите е в действителност, в действителност основно. “